HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL
HarnessRL：策略与训练夹具协同演进的开放式强化学习
🧭 LLM 后训练 · 自适应奖励与训练接口 ★ 深度解读
Alibaba Token Hub, Alibaba Group · Université de Montréal Mila - Quebec AI Institute
提出 HarnessRL，通过任务采样、rollout 引导与 rubric 标准三接口协同进化，并在冻结策略上实测更新效果，显著减少奖励失效。
📌 工作参考价值（4 点）
- 在基于 LLM judge 的奖励训练中（如商品文案、对话策略、Agent 行为生成），把 rubric 视为可训练配置而非固定标准：按每条标准诊断 blind/saturated/spurious，饱和任务降采样、达不到的标准注入 few-shot 引导、刷分标准拆分或重写，能直接缓解 reward hacking。
- 借鉴 JIT critic 机制：所有 reward/rubric/采样权重/引导变更，先冻结当前策略，在小批量上测 reward 变化，仅当变化落在校准接受带内才生效；这比直接应用规则或生成式更新更稳，能显著降低训练后期反复横跳。
- 建立 training-time memory 和语义检索：把历史 rollout、评分矩阵、rubric 变更按任务和 criterion 存下来，检索跨任务相似标准与正负样本，作为引导 reference 或标准修改证据；在电商多任务 RL 中可复用，降低人工调 reward 成本。
- 如果做生成式推荐/Semantic ID 等开放生成，奖励函数退化问题同样会出现；可借鉴该框架让采样分布、生成约束和评判标准与策略协同演化，而不是等到刷分后再修复。